Unified Neural Scaling Laws
统一神经缩放定律
🧭 神经网络多维度联合缩放行为建模
Mila · University of Montreal · Google DeepMind
提出统一函数形式UNSL，同时建模多维度（参数、数据、计算、推理步骤等）下的缩放行为，预测更准确
📌 工作参考价值（4 点）
- 在多变量（数据量、模型大小、训练步数等）同时调整时，可用UNSL拟合scaling law，比单维度拟合更准确，帮助在有限预算下选择最优配置。
- 在生成式推荐或LLM训练中，可基于小规模实验结果预测大模型性能，提前决定是否扩大规模，避免不必要投入。
- 函数形式纳入了推理步骤数，可用于分析推理成本与性能的权衡，指导Agent或查询推荐系统在延迟约束下的部署决策。
- 实际使用时需自行收集多维度实验数据拟合参数，并非预训练即用；主要贡献在于提供了一种更好的联合预测工具。